Multimodal Flow: Unified Flow Modeling of Language and Vision in Embedding Spaces
多模态流：嵌入空间中语言与视觉的统一流建模
🧭 多模态统一连续生成 · Flow Matching
Huazhong University of Science and Technology · Beijing Jiaotong University · Horizon Robotics
提出全连续多模态生成模型，用流匹配在连续嵌入空间统一语言和视觉，避免离散量化瓶颈
📌 工作参考价值（4 点）
- 连续 embedding 流建模可以替代离散 token，用于商品多模态统一表征，减少视觉量化损失；在生成式推荐中可尝试用连续流匹配生成 item embedding 或 Semantic ID 的替代表示。
- chunk-causal 骨干同时保留文本顺序和图像空间结构，适合电商商品标题、详情图等混合模态的联合建模；训练时并行预测多 target chunks，推理顺序生成 hyperchunks，可加速序列化商品描述生成。
- 共享联合注意力 + 模态特定 FFN 的架构，可作为商品图文融合模块：不同模态保持专门前馈处理，同时通过注意力做跨模态交互，比简单拼接更灵活。
- 在小数据预算下持续预训练仍能提升多模态能力，说明该连续建模范式的数据效率较高，对业务中数据量有限的场景有参考价值。